L’apprentissage automatique connaît une popularité grandissante avec une multiplication des applications dans de nombreux secteurs d’activité s’appuyant sur cette approche d’intelligence artificielle (IA) pour améliorer leurs processus.
Cependant, comme le souligne Isabelle Guyon, chercheuse pionnière en IA et professeur à l’université Paris-Saclay, les modèles d’apprentissage automatique ne sont pas tout à fait… automatiques. Ils reposent sur l’expertise de praticiens pour effectuer un certain nombre de tâches, telles que la préparation de données, la sélection d’algorithmes d’apprentissage ou le réglage des paramètres d’entraînement. La complexité de ces tâches dépasse souvent les compétences des non-spécialistes.
L’AutoML vise à simplifier toutes les étapes de l’apprentissage automatique pour le rendre plus accessible sans transiger sur la qualité des modèles.
La croissance rapide des applications d’apprentissage automatique et la rareté des talents dans ce domaine ont donc créé une forte demande de méthodes prêtes à l’emploi, pouvant être utilisées sans connaissances spécialisées. Cela a conduit à l’émergence d’un nouveau domaine de recherche : l’apprentissage automatique automatisé, ou AutoML.
Automatiser toutes les étapes de l’apprentissage automatique
L’AutoML est le processus d’automatisation des tâches de développement et de mise en œuvre de modèles d’apprentissage automatique pour résoudre différents types de problèmes. Il couvre potentiellement toutes les étapes de l’apprentissage automatique, l’idée étant de se charger des nombreuses décisions que les chercheurs et les ingénieurs en IA doivent prendre lors de la conception de nouveaux modèles. Par exemple, dans le domaine de l’apprentissage profond, le nombre de couches cachées et de nœuds dans chaque couche dans un réseau de neurones artificiels.
Dans une approche classique, pour rendre les données exploitables par l’apprentissage automatique, les praticiens sont amenés à appliquer des méthodes de prétraitement des données et d’ingénierie des caractéristiques (“feature engineering”), consistant à extraire des propriétés ou attributs particuliers et mesurables d’un phénomène à partir de données brutes.
Ils doivent ensuite procéder à la sélection et à la configuration des algorithmes d’apprentissage. C’est ce que l’on appelle “l’optimisation des hyperparamètres”. Ce processus de recherche de la configuration optimale des paramètres d’ajustement de l’algorithme est fastidieux, chronophage et sujet aux erreurs.
Dans le cadre d’un apprentissage profond, l’architecture du réseau neuronal doit également être choisie. C’est le domaine de la recherche d’architecture neuronale (NAS, pour Neural Architecture Search), un ensemble de techniques visant à découvrir automatiquement des architectures de réseau de neurones artificiels performantes.
Toutes ces étapes peuvent être complexes et gourmandes en ressources informatiques, ce qui constitue une barrière à l’entrée et donc un obstacle important à la généralisation de l’apprentissage automatique. L’AutoML vise donc à les simplifier, pour rendre la technologie plus accessible aux “novices” sans toutefois transiger sur la qualité des modèles d’IA.
Sélection d’algorithmes et méta-apprentissage
Reposant sur la bibliothèque ouverte d’apprentissage automatique scikit-learn, auto-sklearn permet par exemple d’automatiser la deuxième étape ; la phase de sélection et de configuration des algorithmes d’apprentissage. À partir d’un jeu de données, il détermine le meilleur algorithme pour résoudre un problème donné et optimise ses hyperparamètres. Il exploite les avancées récentes de différentes méthodes d’apprentissage automatique, en particulier le méta-apprentissage.
Le méta-apprentissage propose de construire des modèles capables d’apprendre à apprendre (rapidement) de nouvelles tâches en extrayant des connaissances à partir des tâches précédentes ; des modèles dont les performances s’améliorent avec l’expérience acquise. L’exemple le plus connu est probablement MAML (pour Model-Agnostic Meta-Learning) proposé en 2017 par Chelsea Finn, alors doctorante à l’université de Californie à Berkeley.
Des solutions plus simples et performantes
L’automatisation progressive de l’apprentissage automatique offre à des utilisateurs ayant un faible niveau d’expertise dans le domaine la possibilité d’employer des modèles et des techniques de machine learning.
Par exemple, la promesse commerciale de Google, qui propose une solution labellisée “AutoML”, est de permettre aux développeurs ayant peu d’expérience en apprentissage automatique de créer et d’entraîner des modèles personnalisés de haute qualité. Cette approche suscite un intérêt croissant, et les géants du Web sont définitivement entrés dans la course.
L’automatisation du processus d’apprentissage automatique de bout en bout offre plusieurs autres avantages : création de solutions plus simples, développements plus rapides et modèles plus performants (l’AutoML permettant de réduire les approximations des processus manuels). Les méthodes NAS (Neural Architecture Search), par exemple, peuvent considérablement accélérer le développement de l’apprentissage profond, car les développeurs n’ont plus besoin d’évaluer minutieusement différentes architectures. Elles permettraient même d’obtenir des architectures dont les performances rivalisent avec celles des modèles créés à la main, à la fois en précision et en rapidité d’exécution.
Des “proxies à coût zéro”
En outre, l’AutoML peut s’inscrire dans une démarche d’IA frugale, avec le développement de techniques moins gourmandes en ressources informatiques, et donc plus efficaces d’un point de vue énergétique. La conception de méthodes NAS plus efficientes en est un exemple. La recherche d’architectures neuronales implique en effet de tester un certain nombre d’architectures avec des paramètres différents pour identifier celle qui donnera le meilleur résultat, ce qui requiert une importante puissance de calcul.
Des chercheurs explorent des algorithmes alternatifs, appelés “zero-cost proxies” (“proxies à coût zéro”) afin de réduire considérablement les temps de calcul (quelques secondes contre plusieurs jours avec peu ou prou la même précision). Ces techniques n’en sont encore qu’à leurs prémices, mais les chercheurs en apprentissage automatique sont confiants quant à leur potentiel.
Isabelle Guyon
Chelsea Finn
